PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval
通用多模态嵌入的事后稀疏化：PUMA 实现高效检索
🧭 多模态嵌入事后稀疏化与高效检索
Politecnico di Bari, Italy · Sapienza University of Rome, Italy · ISTI–CNR, Pisa, Italy · University of Pisa, Italy
用稀疏自编码器将通用多模态嵌入事后转化为紧凑稀疏码，不重训骨干，存储降 8-16 倍、检索最高加速 25 倍
📌 工作参考价值（4 点）
- 电商多模态检索（如商品图搜、文搜图、组合查询）可直接在现有通用 embedder 之后挂接稀疏自编码器，把 dense FP32 向量压缩为少量非零分量，线上索引存储降低 8-16 倍，大候选池精确打分提速约 25 倍，适合对延迟和内存敏感的召回场景。
- 预训练阶段先让稀疏编码保持 dense 点积几何（重建内积），再针对检索损失微调，这个两阶段 recipe 可以迁移到商品 embedding 压缩：先用自监督对齐 dense 相似度，再用业务正负样本微调稀疏表示，避免直接端到端训练导致语义漂移。
- 注意两个失败模式：pre-TopK 支持不足（稀疏码中没有保留足够多与 query 最相关的维度）和 active support 与检索错位，意味着在业务落地时要监控稀疏化后 TopK 召回与 dense 的覆盖差异，必要时通过增加预 TopK 约束或检索微调时加入 ranking 损失修正。
- 若已有稠密 embedding 模型不想重训，PUMA 提供了一种 post-hoc 压缩路径：冻结 backbone，只训练轻量稀疏编码器，对已有电商图文 embedding 服务可以低成本升级，减少向量数据库存储成本，适合在召回/粗排阶段做候选快速扫描。